Appendix 2. The survey questionnaire used in this study 


Part 1. Original Chinese version of the survey questionnaire distributed 


to participants. 


“智能 问 诊 机 器 人 信息 质量 评价 指标 ”问卷 调查 


填写 须知 


欢迎 参加 “智能 问 诊 机 器 人 信息 质量 评价 指标 ”问卷 调查 。 该 问卷 由 在 查找 智能 
问 诊 机 器 人 的 信息 质量 的 重要 评价 指标 ， 发 现存 在 的 信息 质量 问题 并 寻求 改进 的 方 
法 ， 从 而 为 那些 致力 于 提高 智能 问 诊 机 器 人 信息 质量 的 个 人 或 组 织 提供 帮助 。 本 问 
卷 采用 匿名 形式 ， 所 有 数据 仅 供 学 术 研 究 分 析 使 用 。 您 可 以 在 任何 时 候 改变 主意 中 
止 问卷 填写 ， 而 中 止 问卷 填写 不 会 产生 任何 后 果 。 


非常 感谢 您 抽出 宝贵 的 时 间 来 填写 问卷 。 


您 已 经 阅读 填写 须知 并 同意 填写 问卷 [ 单 选 题 ] * 
o 我 同意 
o 我 不 同意 


一 、 填 卷 人 基本 信息 


1. 您 的 性 别 是 ? [ 单 选 题 ] * 


O 


ok 


2. 您 的 年 龄 (Y) 是 ? [ 单 选 题 ] * 


018 2 =< Y <30 3 


030 Z =< Y <40 4 
040 =< Y < 504% 


oY >= 50 & 


3. 受 教育 程度 是 ? [ 单 选 题 ] * 
o 专 科 及 以 下 学 历 
co 本科 生 
om FEE 
o 博 士 研究 生 


4. 您 的 职业 是 ? [ 单 选 题 ] * 


o 学 生 

o 政 府 /机 关 / 事 业 单 位 公职 人 员 

o 企 业 / 公 司 员工 

co 专业 人 员 《 如 医生 、 律 师 、 教 师 、 文 体 工作 者 等 ) 
o 自 由 职业 者 /个 体 户 

BRAR 

o 暂 无 固定 职业 人 员 

o 其 他 $ 


5. 您 的 居住 地 是 ? [ 单 选 题 ]* 从 列表 中 选择 


6. 是 否 使 用 过 智能 问 诊 机 器 人 ? [ 单 选 题 ] * 
o 是 (请 指出 它 的 名 称 ， 如 左右 医生 APP) 
不 


7. 使 用 智能 问 诊 机 器 人 的 频率 ?* [ 单 选 题 ] * 


8. 到 目前 为 止 ， 使 用 智能 问 诊 机 器 人 有 多 久 了 (y)? [ 单 选 题 ] * 
oy<3 个 月 
o3 个 月 =<y<6 个 月 


06 个 月 =<y<12 ^H 


ol 年 =<y<2 年 
02 年 =<y<5 年 
oy>=5 年 


9. 使 用 智能 问 诊 机 器 人 的 目的 是 什么 ? [多 选 题 ] * 
满足 好 奇 心 

o 健 康 自 测 

打发 时 间 

疾病 问 诊 

学 习 健 康 科普 知识 

口 寻 医 导 诊 


oF ft y 


10. 访问 智能 问 诊 机 器 人 的 途径 是 什么 ?* [多 选 题 ] * 


直接 通过 搜索 网 站 访问 


口 登录 手机 下 载 的 APP 
oD 通过 微 信 访问 
D 通 过 微 博 访问 


oO 通过 腾讯 QQ 访问 
oD 通过 与 实体 机 器 人 触摸 或 对 话 
otb = * 


二 、 智 能 问 诊 机 器 人 信息 质量 评价 指标 的 重要 程度 


请 您 根据 您 使 用 智能 问 诊 机 器 人 的 经 历 或 意图 使 用 智能 问 诊 机 器 人 的 相关 考量 


指出 您 同意 与 不 同意 下 列 关 于 信息 质量 评价 指标 重要 性 的 表述 程度 〈 均 为 单 选 题 ) 。 


11. 信息 的 准确 性 是 评价 智能 问 诊 机 器 人 信息 质量 的 一 项 重要 指标 〈 例 如 ， 当 智能 
问 诊 机 器 人 与 用 户 对 话 时 ， 机 器 人 能 够 提供 准确 无 误 的 信息 ) 。 [ 单 选 题 ] * 


oO 


o 极 不 赞同 。 不 赞同 o 一 般 赞同 o 非 常 赞同 


12. 信息 的 恰当 性 是 评价 智能 问 诊 机 器 人 信息 质量 的 一 项 重要 指标 例如 ， 当 智能 
五 


Fa Ae 
问 诊 机 器 人 与 用 户 对 话 时 ， 机 器 人 能 够 运用 适当 的 语言 提供 适用 的 信息 来 完成 用 户 
给 定 的 任务 ) 。 [ 单 选 题 ] * 


o 极 不 赞同 。 不 赞同 o 一 般 赞同 o 非 常 赞同 


13. 信息 的 共 情 性 是 评价 智能 问 诊 机 器 人 信息 质量 的 一 项 重要 指标 《例如 ， 当 智能 


问 诊 机 器 人 与 用 户 对 话 时 ， 机 器 人 能 够 对 患者 的 病情 表示 同情 或 尊重 ) 。 [ 单 选 题 


x 


o 极 不 赞同 。 不 赞同 o 一 般 赞同 o 非 常 赞同 


-> 


14. 信息 的 及 时 性 是 评价 智能 问 


诊 机 器 人 信息 质量 的 一 项 重要 指标 “例如 ， 当 智能 


问 诊 机 器 人 与 用 户 对 话 时 ， 它 能 够 及 时 提供 最 新 信息 ) 。 [ 单 选 题 ] * 


o 极 不 赞同 o 不 赞同 


15. 信息 的 完整 性 是 评价 智能 


问 


o 一 般 oft fa o 非 常 赞同 


诊 机 器 人 信息 质量 的 一 项 重要 指标 “例如 ， 当 智能 


问 诊 机 器 人 与 用 户 对 话 时 ， 它 能 够 完成 地 表述 用 户 需要 的 信息 ) 。 [ 单 选 题 ]* 


o 极 不 赞同 o 不 赞同 


16. 信息 的 一 致 性 是 评价 智能 问 


o 一 般 o 赞 同 o 非 常 赞同 


诊 机 器 人 信息 质量 的 一 项 重要 指标 例如 ， 妆 智能 


间 诊 机 器 人 与 用 户 对 话 时 ， 它 能 够 始终 如 一 地 在 特定 的 语 境 中 以 一 致 的 用 词 表 述 信 


A) 。 [ 单 选 题 ] * 
o 极 不 赞同 o 不 赞同 


17. 信息 的 有 用 性 是 评价 智能 问 


o 一 般 o 赞 同 o 非 常 赞同 


oO 


诊 机 器 人 信息 质量 的 一 项 重要 指标 “例如 ， 当 智能 


问 诊 机 器 人 与 用 户 对 话 时 ， 它 能 够 提供 有 用 的 信息 来 完成 用 户 的 给 定 任务 )。 [ 单 


选 题 ] * 


o 极 不 赞同 o 不 赞同 


18. 信息 的 清晰 度 是 评价 智能 问 


o 一 般 o 赞 同 o 非 常 赞同 


oO 


诊 机 器 人 信息 质量 的 一 项 重要 指标 “例如 ， 当 智能 


问 诊 机 器 人 与 用 户 对 话 时 ， 它 能 够 清晰 地 表达 信息 ) 。 [ 单 选 题 ] * 


o 极 不 赞同 o 不 赞同 


o 一 般 o 赞 同 o 非 常 赞同 


19. 信息 的 可 信 度 是 评价 智能 问 诊 机 器 人 信息 质量 的 一 项 重要 指标 《例如 ， 当 智能 


问 诊 机 器 人 与 用 户 对 话 时 ， 它 能 够 提供 可 靠 和 公正 的 信息 ， 这 些 信 息 有 支撑 依据 且 


不 含 广告 ) 。 [ 单 选 题 ] * 
o 极 不 赞同 。” o 不 赞同 


o 一 般 o 赞 同 o 非 常 赞同 


20. 信息 的 相关 性 是 评价 智能 问 诊 机 器 人 信息 质量 的 一 项 重要 指标 〈 例 如 ， 当 智能 
问 诊 机 器 人 与 用 户 对 话 时 ， 它 能 够 提供 相关 信息 来 完成 用 户 的 给 定 任务 ) 。 [ 单 先 


jel] * 


o 极 不 赞同 。 不 赞同 o 一 般 o 赞 同 o 非 常 赞同 


21. 信息 的 重复 性 是 评价 智能 问 诊 机 器 人 信息 质量 的 一 项 重要 指标 (例如 ， 当 智能 
间 诊 机 器 人 与 用 户 对 话 时 ， 它 会 每 天 重复 地 问 用 户 同样 的 问题 ， 或 者 针对 同样 的 问 
题 提 供 完全 相同 的 答案 ) 。 [ 单 选 题 ] * 

o 极 不 赞同 RAR o 一 般 oft E] o 非 常 赞同 


22. 信息 的 可 访问 性 是 评价 智能 问 诊 机 器 人 信息 质量 的 一 项 重要 指标 〔 例 如， 当知 
能 问 诊 机 器 人 与 用 户 对 话 时 ， 用 户 很 容易 查询 和 访问 所 需要 的 信息 ) 。 [ 单 选 题 ] * 
o 极 不 赞同 。”o 不 赞同 o 一 般 o 赞 同 o 非 常 赞同 


23. 信息 的 简洁 性 是 评价 智能 问 诊 机 器 人 信息 质量 的 一 项 重要 指标 〔 例 如 ， 当 智能 
问 诊 机 器 人 与 用 户 对 话 时 ， 它 能 够 使 用 简单 的 语言 ， 以 简化 和 紧凑 的 形式 呈现 信 
息 ) 。[ 单 选 题 ] * 


o 极 不 赞同 o 不 赞同 oo 一般 o ## [a] o 非 常 赞同 


24. 信息 的 现实 性 是 评价 智能 问 诊 机 器 人 信息 质量 的 一 项 重要 指标 〈 例 如 ， 当 智能 
问 诊 机 器 人 与 用 户 对 话 时 ， 它 能 够 模拟 人 的 回复 速度 ， 使 用 语言 和 理解 水 平 ) 。 
[ 单 选 题 ] * 

o 极 不 赞同 o 不 赞同 o 一 般 o 赞 同 o 非 常 赞同 


25. 信息 的 可 理解 性 是 评价 智能 问 诊 机 器 人 信息 质量 的 一 项 重要 指标 例如， 当知 
能 问 诊 机 器 人 与 用 户 对 话 时 ， 它 的 回复 易于 理解 ) 。 [ 单 选 题 ] * 
o 极 不 赞同 。 OA EIA o 一 般 oft fl o 非 常 赞同 


oO 


26. 信息 的 友好 性 是 评价 智能 问 诊 机 器 人 信息 质量 的 一 项 重要 指标 〈 例 如 ， 当 智能 
问 诊 机 器 人 与 用 户 对 话 时 ， 它 的 回复 是 有 趣 、 友 好 及 和 善 的 ) 。 [ 单 选 题 ] * 
o 极 不 赞同 FRM o 一 般 赞同 o 非 常 凌 同 


27. 信息 量 是 评价 智能 问 诊 机 器 人 信息 质量 的 一 项 重要 指标 “例如 ， 当 智能 问 诊 机 
器 人 与 用 户 对 话 时 ， 用 户 需 要 在 大 脑 中 分 析 处 理 机 器 人 所 提供 信息 内 容 的 多 少 ) 。 
[ 单 选 题 ] * 

o 极 不 赞同 o 不 赞同 o 一 般 o 赞 同 o 非 常 赞 同 


注意 :本 次 调研 仅 作 研究 使 用 。 所 有 提交 的 信息 都 将 得 到 保密 地 处 理 。 
谢谢 您 的 参与 ! 


Part 2. The survey questions translated into English. 


SECTION I. PARTICIPANT INFORMATION 
1. What is your gender ? 


O Male 


O Female 


2. What is your age? 


O18 years old = < Y < 30 years old 
O30 years old = < Y < 40 years old 
O40 years old = < Y < 50 years old 


OY >= 50 years old 


3. What is your educational background? 


O Junior college or below 
O Bachelor’s degree 
O Master’s degree 


O Doctor’s degree 


4. What is your occupation? 


O Students 

O Public servants 

O Company employees 

O Professionals (e.g., physicians, lawyers and teachers) 
O Freelancers 


O Retirees 


O Unemployed individuals 


O Others (if select this option, please outline a specific occupation ). 


5. What is your place of residence? Please select the city from the below list. 


6. Have you used a healthcare conversational agent? 


O Yes (If yes, please point out its name ) 


O No 


7. How often do you use a healthcare conversational agent? 


O Many times per day 
O At least one time per week 
O At least one time per month 


O Less than one time per month 


8. How long have you used a healthcare conversational agent so far? 


O y <3 months 

O 3 months = < y < 6 months 
O 6 months = < y < 12 months 
O lyear = < y <2 years 

O 2 years = < y < 5 years 


O y > = 5 years 


9. What is your purposes for using a healthcare conversational agent? (Multiple choice) 


To satisfy curiosity 


To conduct health self-tests 


To kill time 


To diagnose diseases 


To learn health scientific knowledge 


To look for doctors 


Others (please specify it ) 


10. What is your approach to accessing a healthcare conversational agent? (Multiple choice) 


By visiting websites 


By logging in mobile phone apps 


By using Wechat 


By using Weibo 


By using Tencent QQ 


By contacting a tangible robot 


Others (please specify it ) 


SECTION II. RELEVANT IMPORTANCE ON THE INFORMATION QUALITY DIMENSIONS 
OF HEALTHCARE CONVERSATIONAL AGENTS 

To what extent do you agree or disagree with the following descriptions about the importance of information 
quality dimensions for healthcare conversational agents based on your experience of using an agent or your 
intention to use an agent. 


11. Information accuracy is an important dimension used to assess the information quality of healthcare 
conversational agents. (For example, when a healthcare conversational agent communicates with a user, it 


provides error-free information.) 


OStrongly disagree oDisagree oNeutral oAgree oStrongly agree 


12. Information appropriateness is an important dimension used to assess the information quality of 
healthcare conversational agents. (For example, when a healthcare conversational agent communicates with 


a user, it provides applicable information in proper language to address the user’s given task.) 

OStrongly disagree oDisagree oNeutral oAgree oStrongly agree 

13. Information empathy is an important dimension used to assess the information quality of healthcare 
conversational agents. (For example, when a healthcare conversational agent communicates with a user, it 
shows its sympathy or respect to him or her.) 

OStrongly disagree oDisagree oNeutral oAgree oStrongly agree 

14. Information timeliness is an important dimension used to assess the information quality of healthcare 
conversational agents. (For example, when a healthcare conversational agent communicates with a user, it 
provides up-to-date information.) 

OStrongly disagree oDisagree oNeutral oAgree oStrongly agree 

15. Information completeness is an important dimension used to assess the information quality of healthcare 
conversational agents. (For example, when a healthcare conversational agent communicates with a user, it 
completely presents the user’s required information.) 

OStrongly disagree oDisagree oNeutral oAgree oStrongly agree 

16. Information consistency is an important dimension used to assess the information quality of healthcare 
conversational agents. (For example, when a healthcare conversational agent communicates with a user, it 


consistently presents the information in a specific context with consistent wording.) 


OStrongly disagree oDisagree oNeutral oAgree oStrongly agree 


17. Information helpfulness is an important dimension used to assess the information quality of healthcare 
conversational agents. (For example, when a healthcare conversational agent communicates with a user, it 


provides useful information to address the user’s given task.) 

OStrongly disagree oDisagree oNeutral oAgree oStrongly agree 

18. Information clarity is an important dimension used to assess the information quality of healthcare 
conversational agents. (For example, when a healthcare conversational agent communicates with a user, it 
clearly presents the information.) 

OStrongly disagree oDisagree oNeutral oAgree oStrongly agree 

19. Information trustworthiness is an important dimension used to assess the information quality of healthcare 
conversational agents. (For example, when a healthcare conversational agent communicates with a user, it 
provides reliable and unbiased information, presented with references and without advertisements.) 
OStrongly disagree oDisagree oNeutral oAgree oStrongly agree 

20. Information relevance is an important dimension used to assess the information quality of healthcare 
conversational agents. (For example, when a healthcare conversational agent communicates with a user, it 
provides relevant information to address the user’s given task.) 

OStrongly disagree oDisagree oNeutral oAgree oStrongly agree 

21. Information repetitiveness is an important dimension used to assess the information quality of healthcare 
conversational agents. (For example, when a healthcare conversational agent communicates with a user, it 


repeatedly asks the user the same question daily or provides the exact same answer to the same question.) 


OStrongly disagree oDisagree oNeutral oAgree oStrongly agree 


22. Information accessibility is an important dimension used to assess the information quality of healthcare 
conversational agents. (For example, when a healthcare conversational agent communicates with a user, it is 


easy for the user to find and approach the information when he/she needs.) 


OStrongly disagree oDisagree oNeutral oAgree oStrongly agree 


23. Information conciseness is an important dimension used to assess the information quality of healthcare 


conversational agents. (For example, when a healthcare conversational agent communicates with a user, it 


presents the information in a simplified and compact form, using simple language.) 


OStrongly disagree oDisagree oNeutral oAgree oStrongly agree 


24. Information realisability is an important dimension used to assess the information quality of healthcare 


conversational agents. (For example, when a healthcare conversational agent communicates with a user, it 


simulates human typing delays, language, and understanding level of a realistic counsellor displayed in 


conversations.) 


OStrongly disagree oDisagree oNeutral oAgree oStrongly agree 


25. Information understandability is an important dimension used to assess the information quality of 


healthcare conversational agents. (For example, when a healthcare conversational agent communicates with 


a user, its responses are easy to understand.) 


OStrongly disagree oDisagree oNeutral oAgree oStrongly agree 


26. Information likability is an important dimension used to assess the information quality of healthcare 


conversational agents. (For example, when a healthcare conversational agent communicates with a user, its 


responses show funny, friendliness, and kindness.) 


OStrongly disagree oDisagree oNeutral oAgree oStrongly agree 


27. Amount of information is an important dimension used to assess the information quality of healthcare 
conversational agents. (For example, when a healthcare conversational agent communicates with a user, the 


user needs to process the number of information items provided by the agent.) 


OStrongly disagree oDisagree oNeutral oAgree oStrongly agree 


